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摘要 : 肺 4D-CT 图 像 超 分 辩 率 重建 技术 对 于 提高 肺 4D-CT 图 像 分 辨 率 有 重要 作用 。 本 文 提出 一 种 基于 快速 亚 像素 运动 估计 的 
超 分 辨 率 处 理 方法 ,以 重建 清晰 的 肺 4D-CT 图 像 。 首 先 采用 快速 亚 像素 运动 估计 方法 估计 不 同 “ 帧 "图 像 间 的 运动 场 ,然后 采用 
迭代 反 投 影 方法 重建 高 分 辩 率 肺 4D-CT 图 像 。 实 验 结果 表明 ,与 传统 的 插值 方法 及 基于 全 搜索 运动 估计 的 超 分 辨 率 重建 算法 
相 比较 ,本 方法 能 得 到 更 清晰 的 肺 部 图 像 ,图 像 结构 明 显 增强 。 同 时 ,与 全 搜索 算法 相 比 , 运 算 时 间 显 车 缩减 。 

关键 词 : 肺 4D-CT 数 据 , 可 以 整体 表达 ; 超 分 辨 率 重建 ;运动 估计 ; 亚 像素 


Super-resolution reconstruction of lung 4D-CT images based on fast sub-pixel motion 


estimation 
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Abstract: Super-resolution image reconstruction techniques play an important role for improving image resolution of lung 
4D-CT. We presents a super-resolution approach based on fast sub-pixel motion estimation to reconstruct lung 4D-CT images. 
A fast sub-pixel motion estimation method was used to estimate the deformation fields between "frames", and then iterative 


back projection (IBP) algorithm was employed to reconstruct high-resolution images. Experimental results showed that 


compared with traditional interpolation method and super-resolution reconstruction algorithm based on full search motion 


estimation, the proposed method produced clearer images with significantly enhanced image structure details and reduced 


time for computation. 


Key words: lung 4D-CT data; super-resolution reconstruction; motion estimation; sub-pixel 


4D-CT 在 肺癌 放射 治疗 中 发 挥 着 重要 的 作用 , 它 
提供 了 一 个 全 面 的 高 精度 放射 治疗 呼吸 运动 表征 ,有 助 
于 跟踪 肿瘤 运动 ,实施 精确 放射 治疗 ,减少 对 正常 组 织 
的 损伤 "。 肺 4D-CT 数 据 的 获取 ,通常 是 根据 床位 和 肺 
体积 ,将 多 个 自由 呼吸 3D-CT 数 据 段 排序 而 得 。 然 而 ， 
由 于 CT 固有 的 高 剂量 照射 ” , 故 往往 只 能 降低 沿 纵向 
(Z 轴 方向 ) 的 采样 来 减少 4D-CT 扫 描 时 间 以 求 降低 辐 
射 量 ,从 而 导致 肺 4D-CT 图 像 层 间 分 辩 率 远 低 于 层 内 
分 辩 率 ,造成 数据 显著 的 各 向 异性 。 因 此 ,在 对 肺 各 相 
位 3D 数 据 进行 冠 天 状 面 观察 时 ,为 了 获得 正确 比例 的 
图 像 ,需要 根据 3D 数 据 的 层 间 分 辨 率 和 层 内 分 辨 率 的 
比例 , 沿 Z 轴 方向 进行 插值 放大 。 常 用 的 插值 方法 为 最 近 
邻 或 双 线 性 插值 法 ,这 些 方法 都 会 导致 图 像 的 模糊 , 尤 
其 当 层 间 分 辩 率 与 层 内 分 辨 率 比 例 差别 比较 大 时 。 
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此 ,研究 如 何 提高 肺 4D-CT 图 像 分 辨 率 有 着 实际 意义 。 
图 像 超 分 辩 率 重建 技术 是 一 种 提高 图 像 分 辩 率 的 
有 效 方法 。 其 原理 是 利用 多 帧 关于 同一 场景 的 有 相互 
位 移 的 低 分 辩 率 降 质 图 像 来 重建 高 分 辩 率 图 像 ”。 本 
文 的 主要 目的 是 提高 肺 4D-CT 数 据 多 平面 显示 图 像 的 
质量 。 肺 4D-CT 数 据 提供 随 呼 吸 运动 变化 的 肺 部 低 分 
辩 率 图像 序列 , 故 多 平面 间 不 同 相 位 对 应 图 像 可 以 认为 
是 一 系列 低 分 状 率 图 像 “ 帧 ” ,这些 图 像 间 信 息 是 互补 
的 ,根据 这 个 特征 我 们 可 采用 超 分 辨 率 技术 重建 清晰 的 
高 分 辩 率 图 像 。 超 分 辩 率 重建 方法 已 有 多 年 的 研究 。 
其 可 大 体 划分 为 两 类 : 频 域 方 法 和 空域 方法 5。 频 域 方 
法 是 基于 传 里 叶 变 换 的 方法 ,将 图 像 变换 到 频 域内 以 消 
除 低 分 辩 率 图 像 的 频谱 混 赫 。 其 算法 简单 ,运行 速度 
快 ,但 是 难以 处 理 图 像 噪声 问题 ,而 且 只 能 处 理 全 局 整 
体 运动 的 降 质 模型 n。 因 此 ,该 方法 有 很 大 的 局 限 性 ,3 
不 常用 。 有 目前 的 研究 主要 集中 在 空域 方法 方面 。 常 用 
空域 超 分 辩 率 重建 方法 有 凸 集 投影 法 (POCS) 、 迭 代 反 
投影 法 (IBP) .最 大 后 验 法 (MAP) 等 。 他 们 各 有 优 缺 
点 ,其 中 迭代 反 投 影 法 因为 理论 简单 收敛 快 而 得 到 了 
广泛 应 用 。 在 文献 [7] 中 ,我 们 提出 基于 运动 估计 的 迭 
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代 反 投影 的 超 分 辩 率 重建 方法 ,实现 了 肺 4D-CT 数 据 
冠 (和 天) 状 面 图 像 分 辨 率 增强 。 在 此 方法 中 ,图 像 间 运 动 
场 的 估计 是 影响 重建 精度 和 速度 的 主要 因素 。 由 于 我 
们 采用 的 是 全 搜索 运动 估计 法 “估计 不 同 帧 图 像 之 间 
的 运动 场 ,因此 该 方法 的 缺点 是 速度 慢 , 且 只 能 是 固定 
搜索 步 长 ,这 样 既 影响 重建 速度 ,也 影响 重建 精度 。 

本 文中 我 们 结合 三 步 搜索 法 "和光 流 场 方法 ™， 
实现 了 快速 的 图 像 间 亚 像素 运动 估计, 而 后 ,采用 迭代 
反 投影 (IBP) 算 法 ,重建 出 高 分 辨 率 的 肺 4D-CT 图 
像 。 实 验 结果 表明 ,本 文 基于 快速 亚 像素 运动 估计 的 超 
分 辩 率 技术 的 重建 结果 显著 优 于 传统 的 双 线性 插值 法 ; 
并 且 , 本 文 算法 重建 结果 较 文献 [7] 提 出 的 基于 完全 搜 
索 块 匹配 运动 佑 计 的 超 分 辨 率 重 建 结 果 好 ,计算 时 间 也 
大 幅度 缩减 。 


1 方法 
1.1 不 同 相位 间 肺 4D-CT 图 像 运 动 估计 

本 文 将 多 相位 低 分 辨 率 图 像 作为 输入 “ 帧 ", 首 先 估 
计 各 帧 图 像 间 的 运动 场 。 具 体 包 含 两 个 步骤 :(1) 采 用 
三 步 搜 索 法 ,搜索 图 像 块 之 间 的 整数 像素 位 移 ;(2) 采 用 
交流 法 搜索 亚 像 素 位 移 。 整 个 过 程 叙 述 如 下 。 
1.1.1 三 步 搜索 法 (three step search,TSS) TSS 采 用 的 
是 一 种 由 粗 到 细 的 搜索 模式 ,从 搜索 窗 中 心 点 开始 , 按 
一 定 步 长 取 周 围 8 个 点 构成 每 次 搜索 的 点 群 ,然后 按 
照 匹 配 准 则 进行 匹配 计算 ,找到 误差 最 小 的 匹配 块 
中 心 点 。 匹 配 准 则 本 文 仍 选择 简便 有 效 的 绝对 误差 
和 (SAD) 来 求解 两 图 像 间 的 初始 运动 矢量 ,SAD 定义 
如 下 : 
DY 


Mp+i,g+) -lL aptv,ti,g+v,+)| 
(1) 

式 中 ,图 像 块 的 大 小 为 NxN ,左上 角 的 坐标 为 
(p,9); 运 动 拓 量 为 ,Vv);10, 让 和 7 四 分 别 为 当 
前 帧 和 参考 帧 在 像素 @, 力 处 的 值 。 在 搜索 区 域内 使 
Sv,,v,) 值 最 小 的 运动 矢量 即 为 当前 块 的 最 优 运动 
矢量 。 

TSS 的 步骤 为 :第 一 步 , 首 先 确定 一 个 中 心 点 , 设 定 
最 大 搜索 长 度 ,以 最 大 搜索 长 度 的 1/2 作 为 步 长 ,将 中 心 
点 及 周围 距离 相同 步 长 的 8 个 检测 点 根据 匹配 准则 , 找 
到 最 小 块 误差 点 ,如 果 最 小 块 误差 点 位 于 原 中 心 点 , 则 
算法 结束 ,和 否则 ,进行 下 一 步 ;第 二 步 , 步 长 减 半 , 在 上 一 
步 确定 的 最 小 块 误 差点 及 其 周围 相同 步 长 的 8 个 检测 
点 中 找到 最 小 误差 匹配 块 的 中 心 点 ;第 三 部 ,重复 第 一 
部 和 第 二 步 ,直到 步 长 达到 搜索 精度 要 求 , 即 得 到 最 佳 
匹配 点 。 其 原理 示意 图 如 图 1 所 示 ”。 
1.1.2 光 流 法 采用 三 步 搜索 法 进行 初始 运动 估计 之 
后 ,所 得 运动 矢量 精度 为 整数 ,其 为 图 像 运 动 矢量 的 粗 
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图 1 块 匹配 三 步 搜索 法 
Fig.1 Three-step search of block matching algorithm. 


略 估计, 因此 本 文 还 将 采用 光 流 法 对 初始 运动 矢量 进行 
精度 优化 ,精确 到 亚 像 素 。 
假设 运动 前 后 两 帧 连续 图 像 分 别 为 1f(x,y) 和 
g(x, ,根据 经 典 光 流 简化 模型 ,可 得 式 (2): 
gD)=f Ct A y tA) +A) tA) (2) 
该 式 近 似 为 一 阶 泰勒 级 数 展开 式 。 
对 (2) 式 进行 最 小 化 求解 可 得 最 优 位 移 矢量 : 
min imize P(Ax,, Ay,) (3) 
其 中 : 
D(Ax,, Ay,)= 二 CC y -f(x,y) -Ax, 吉 f (x,y) -Ay, > Ff(% ») (4) 
式 (4) 可 看 作 线 性 最 小 二 乘 求 解 问题 , 可 将 目标 函 
数 的 偏 导数 置 0 得 到 最 优 值 Ax,, Ay,。 因 此 ,可 有 如 下 方 
程 : 


oP _ oP _ 
A 0 和 Ty 0 (5) 


求解 方程 (5) ,可 得 最 优 解 Ax,, Ay,。 

设 三 步 搜索 法 得 到 的 初始 运动 矢量 为 Axj, Ay, 则 
最 终 得 到 的 总 运动 矢量 Ax, Ay 为 : 

Ar=Ar +Ar,， Ay=Ayj+Ay, (6) 
1.2 迭代 反 投 影 (IBP) 超 分 辨 率 重 建 

IBP 算 法 是 由 Irani 和 Peleg" 率先 提出 ,其 基本 思 
想 是 :首先 ,假设 一 个 初始 高 分 辩 率 图 像 W, 然 后 ,根据 
退化 模型 "模拟 成 像 过 程 得 到 一 个 低 分 辨 图 像 的 集合 
1 K= 1 …, 玉 ,天 表示 原始 序列 低 分 辨 率 图 像 的 数 
量 ,n 为 迭代 次 数 。 如 果 H" 是 正确 的 高 分 辩 率 图 像 , 则 
得 到 的 这 一 集合 就 应 该 和 已 知 的 低 分 辩 率 图 像 序列 集 
合 {站 等 。 如 果 H" 不 是 理想 的 高 分 辩 率 图 像 , 则 {L\ 
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新 之 ,得 到 一 个 相对 较 接 近 的 正确 结果 有 H"。 反 复 迭 代 
该 过 程 直至 收敛 , 则 重建 结束 ,误差 计算 为 : 


2 
‘= | BEY : (7) 
在 第 n 次 近 代 过 程 中 ,LW 可 表示 为 : 
L"=T (HYs (8) 


式 中 ,T 表 示 从 甩 到 L, 的 二 维 几何 变换 , 且 可 道 ;Vs 
是 下 采样 算 子 ,1 为 高 斯 模 枯 算 子 。 

重建 的 高 分 辩 率 图 像 的 更 新 过 程 表示 为 : 

HH + ETT) YD) (9) 


式 中 ,个 表示 上 采样 算 子 ;p 表 示 背 投影 算 子 ,可 设 
定 为 h 的 道 。 

本 文中 选 定 一 幅 需 要 重建 的 低 分 状 率 肺 4D-CT 图 
像 ,插值 重建 为 初始 高 分 辨 率 图 像 万 " ,其 他 相位 图 像 作 
为 已 知 低 分 辩 率 图 像 序 列 ,根据 获得 的 运动 场 ,采用 
IBP 方 法 重建 出 高 分 辨 率 4D-CT 图 像 。 

1.3 超 分 辨 率 重 建 结果 量化 评价 

本 实验 采用 一 个 公共 可 用 的 数据 集 呈 ,该 数据 集 由 
10 组 肺 4D-CT 数 据 组 成 ,每 组 数据 包含 10 个 相位 。 各 
组 图 像 数据 层 内 分 辩 率 为 0.97~1.16 mm, 层 间 分 辩 率 
均 为 2.5 mm。 实 验 针对 10 组 数据 ,在 不 同 相 位 中 选取 
冠 矢 状 面 低 分 辩 率 图 像 , 然 后 分 别 采 用 双 线 性 插值 , 文 
献 [5 算法 和 本 文 算法 进行 图 像 重建 。 

本 文采 用 图 像 平 均 梯度 "这 个 量化 指标 来 评价 重 
建 结 果 。 平 均 梯 度 能 够 反映 出 图 像 细 微 反 差 的 程度 , 平 
均 梯 度 越 大 ,表明 影像 越 清晰 \ 反 差 越 好 、 细 节 保 持 的 越 
好 。 其 定义 为 : 


= Vf D+V ,ji 

i 

(10) 

式 中 ,了 Gi, 站 ,Vif 了 (站 和 IV, 了 (i, 站 分 别 为 像素 点 灰 度 

以 及 其 在 行列 方向 上 的 梯度 ;M 和 NN 分 别 为 图 像 的 行 
数 和 列 数 。 


2 结果 
2.1 超 分 辨 率 重 建 结 果 视 觉 评价 

图 2 显示 了 1 例 典 型 的 冠 ( 矢 ) 状 面 图 像 重建 结果 。 
从 左 至 右 , 分 别 为 双 线 性 插值 ,基于 全 搜索 运动 估计 超 
分 辩 率 重建 (文献 [5]) 和 本 文 基于 快速 亚 像素 运动 估计 
超 分 辩 率 的 重建 结果 。 第 1.3 行 分 别 为 冠状 面 和 矢 状 
面 图 像 ,为 了 更 清楚 地 进行 效果 对 比 , 我 们 分 别 将 红色 
方 框 内 的 区 域 进行 了 放大 , 置 于 原 图 下 方 显示 。 从 实验 
结果 可 看 出 ,本文 算法 获得 的 超 分 状 率 重建 结果 比 双 线 


性 插值 法 有 很 大 改进 ,图 像 的 分 状 率 有 较 明显 的 提高 ， 
从 局 部 放大 图 像 来 看 , 肺 实质 中 的 血管 和 周边 组 织 的 亮 
度 和 清晰 度 更 有 明显 增强 。 同 时 ,本 文 结 果 相 比 于 基于 
全 搜索 的 超 分 辩 率 重建 结果 ,清晰 度 亦 有 所 改善 。 这 是 
因为 全 搜索 只 能 设 定 固定 步 长 ,为 了 节约 时 间 , 步 长 不 
能 设置 太 小 , 故 影响 了 它 的 运动 估计 精度 。 另 外 ,在 运算 
时 间 方面 ,基于 全 搜索 的 超 分 辩 重 建 时 间 大 约 40 min， 
而 本 文 方法 只 需 约 2 min。 时 间 缩 短 了 近 20 倍 ,重建 效 
率 明 显 改 进 。 
2.2 超 分 辨 率 重建 结果 量化 评价 

平均 梯度 既 反映 了 图 像 中 的 微小 细节 反差 与 纹理 
变化 特征 ,也 反映 了 图 像 的 清晰 度 。 本 文 根 据 图 像 平均 
梯度 量化 指标 ,针对 10 组 数据 重建 的 图 像 进行 了 量化 
评价 。 根 据 式 (10) 对 10 组 图 像 的 双 线 性 插值 ,基于 全 
搜索 运动 估计 重建 (文献 [5]) 和 本 文 方法 的 重建 结果 分 
别 进行 平均 梯度 计算 ,结果 如 表 1 所 示 。 可 见 ,本 文 算 
法 较 双 线性 插值 方法 的 平均 梯度 值 显著 增 大 ,上 且 与 基于 
全 搜索 重建 结果 相 比 , 亦 有 一 定 的 提高 ,图 像 更 清晰 , 细 
节 保 持 更 好 。 
2.3 参数 讨论 

我 们 选取 大 小 为 16*16 的 图 像 块 进行 匹配 运算 ,其 
主要 原因 是 ;在 图 像 块 搜索 过 程 中 ,常用 图 像 块 大 小 有 
8*8 像素 .16*16 像素 和 32*32 像 素 等 。 若 选取 大 的 图 
像 块 ,将 会 明显 增加 搜索 计算 。 如 :32*32 的 块 与 16*16 
的 块 相 比 ,其 块 相似 度 匹配 的 运算 量 将 增加 3 倍 。 而 如 
果 图 像 块 过 小 ,由 于 肺 纹理 比较 稀 琉 ,有 时 会 导致 块 包 
含 的 结构 特征 较 少 ,影响 匹配 搜索 精度 。 因 此 ,本 文 设 
定 图 像 块 大 小 为 16*16 像 素 , 同 时 考虑 肺 的 运动 幅度 不 
大 (像素 位 移 一 般 为 10 个 像素 以 内 ) ,故我 们 将 搜索 范 
围 设 定 为 16*16 像 素 , 也 就 是 在 目标 像素 点 周围 16*16 
像素 的 范围 内 搜索 。 

在 公式 (4) 计 算 中 ,数值 解法 将 影响 结果 。 我 们 采 
用 实验 图 像 , 比 较 了 5 点 差分 和 中 心 差分 方法 这 两 种 较 
典型 方法 对 运动 矢量 估计 的 影响 ,并 用 均 方 根 误差 
(RMSE) 评 价 两 种 方法 估计 的 运动 场 差异 ,其 结果 为 
RMSE=0.1504。 这 意味 着 使 用 两 种 差分 方法 ,得 到 的 
运动 场 差 异 较 小 。 这 是 因为 ,5 点 差分 法 是 结合 前 后 5 
个 像素 点 的 灰 度 进行 差分 计算 ,其 结果 有 平滑 作用 。 但 
因为 我 们 在 运动 估计 前 ,首先 对 图 像 进行 了 平滑 预 处 
理 ,因此 ,采用 5 点 差分 与 采用 中 心 差分 方法 ,其 结果 差 
异 不 大 是 合理 的 。 本 文选 择 了 相对 简单 的 中 心 差分 法 

IBP 方 法 作为 一 种 迭代 处 理 方法 ,Irani 等 “证明 
了 它 的 收敛 性 。 他 们 指出 :算法 收敛 与 初始 高 分 状 率 
图 像 佑 计 无 关 , 旦 能 较 快速 收敛 (通常 在 5 次 迭代 以 
内 )。 同 时 , 背 投影 算 子 z 是 影响 数值 稳定 性 和 收敛 速 
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图 2 实验 结果 


Fig.2 The experimental results. From left to right, the resolution-enhanced images of the coronal and sagittal views obtained 


by bilinear interpolation, reconstructed based on full search and our method are shown in the first and third rows, 
respectively. The areas in red box are enlarged and shown below. 


度 的 一 个 主要 因素 。z 取 /的 逆 能 获得 稳定 的 解 ,但 收敛 ” 辨 率 重建 算法 。 与 传统 的 双 线性 插值 方法 相 比 ,本 文 
较 慢 ,如 果 p 选 择 脉冲 函数 , 则 可 快速 收敛 ,但 数值 稳 ”算法 可 使 图 像 清 晰 度 显 著 增强 。 同 时 ,本 文 算法 要 优 
定性 可 能 会 有 所 降低 。 文 中 ,我 们 设 定 p 为 h 的 逆 , 采 用 ”于 基于 全 搜索 运动 估计 的 重建 算法 。 由 于 运动 矢量 信 
数据 集 1 中 的 图 像 进行 了 测试 ,其 迄 代 误差 曲线 如 图 3 计 速 度 和 精度 的 优化 ,本 文 算法 不 仅 使 最 后 重建 图 像 
所 示 。 该 曲线 呈 单 调 下 降 趋势 ,验证 了 算法 的 收敛 性 。 ”更 清晰 ,而 且 计 算 时 间 较 全 搜索 算法 缩 碱 了 近 20 倍 ， 
是 很 有 意义 的 改进 。 从 视觉 效果 和 定量 评估 两 方面 结 
3 结论 果 综 合 说 明 ,本文 算法 能 较 快速 重建 出 结构 更 清晰 的 
本 文 提出 了 一 种 基于 快速 亚 像素 运 动 估计 的 超 分 。” 肺 部 图 像 。 
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表 1 重建 图 像 的 平均 梯度 值 


Tab.1 Average gradient value of the images reconstructed by 


different algorithms 


Bilinear Full search Our method 

Data 1 5.67 8.97 9.14 
Data 2 518 7.68 8.45 
Data 3 5.37 7.93 8.31 
Data 4 5.41 过 97 8.52 
Data 5 5.32 7.92 8.49 
Data 6 5.37 8.76 8.96 
Data 7 5.44 8.18 8.92 
Data 8 3.29 7.73 8.53 
Data 9 6.29 8.59 8.99 
Data 10 5.64 .33 8.15 
MeantSD 5.52+0.22 8.13+0.49 8.65+0.33 
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图 3 和 迭代 误差 曲线 


Fig.3 Error curve of iterative approach. 
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